Ông tên thật là Bành Đức Hoa, sinh tại huyện Tương Đàm, tỉnh Hồ Nam. Rời gia đình năm 9 tuổi, ông làm việc ở mỏ than rồi ở các công trường xây đập bên Động Đình Hồ năm 13 và 15 tuổi. Năm 16 tuổi, ông gia nhập quân đội và từ đây theo đuổi sự nghiệp quân sự cho đến những năm cuối đời, tổng cộng 60 năm.

Năm 28 tuổi, Bành Đức Hoài đã là lữ đoàn trưởng trong quân đội Trung Hoa Dân quốc và bắt đầu tiếp xúc với các chính khách. Ông rời bỏ hàng ngũ Quốc dân đảng, tránh cuộc thanh trừng của Tưởng Giới Thạch năm 1927. Gia nhập Đảng Cộng sản Trung Quốc, rồi tham gia cuộc Vạn lý trường chinh, trong đó Bành Đức Hoài chỉ huy Quân đoàn ba.